AutoGUIWorld: Image Generators as Visual World Models for GUI Agent
AutoGUIWorld：图像生成器作为GUI智能体的视觉世界模型
🧭 GUI Agent 数据合成与训练
Hunyuan AI Data Team
利用图像生成器与规划器合成无环境依赖的GUI交互轨迹，提升GUI智能体真实任务性能
📌 工作参考价值（4 点）
- 在电商/推荐场景中，可借鉴“无环境数据合成”思路：用图像生成器模拟商品详情页、购物车、下单等界面状态变化，低成本生成多步交互轨迹，用于训练购物助手或导购Agent，避免依赖真实App部署。
- 规划器+图像生成器迭代编辑的方法可生成多样化的用户旅程模拟数据，覆盖冷启动场景或长尾界面状态，增强Agent对异常布局、少见控件的泛化能力。
- 动作接地（action grounding）和过渡级质量过滤是关键步骤：在合成数据中显式校验动作坐标与视觉变化的对应关系，保证轨迹可用性，类似推荐系统中对合成样本做标注质量校验。
- 微调大模型（如Qwen3.5-35B-A3B）在真实基准上的显著提升（OSWorld +7.8pt, ScienceBoard +18.2pt）表明合成轨迹对Agent有效，电商领域可尝试用类似方法微调多模态模型处理商品页面操作任务。